手眼标定2D

Introduction

Hand-eye calibration is used to relate what the camera (“eye”) sees to where the robot arm (“hand”) moves.
In a nutshell:
Eye-in-hand calibration is a process for determining the relative position and orientation 
of a robot-mounted camera with respect to the robot’s end-effector. 
It is usually done by capturing a set of images of a static object of known geometry with 
the robot arm located in a set of different positions and orientations.
Eye-to-hand calibration is a process for determining the position and orientation of a 
statically mounted camera with respect to the robot’s base frame. It is usually done by 
placing an object of known geometry in the robot’s gripper. Followed by taking a series of 
images of it in a set of different positions and orientations.

 You should add a figure of your setup to better let other people understand what you want to do. 
If I have understood correctly, you are doing the following:

    move the gripper to point to a chessboard corner
    get the corner location in the image (will be img_pts)
    get the gripper position (will be in objectPoints)
    repeat for 8 corners
    compute solvePnP

This looks not correct for hand-eye calibration:

    solvePnP should be used to compute the transformation between the camera frame and the object frame
    in your case, objectPoints are expressed in some reference frame
    but for each corners in img_pts, the camera has moved
    and hand-eye calibration is different than perspective-N-points method (pose from 2D/3D)

Hand-eye calibration

This topic is well covered in the literature:
1.  Real Time Versatile Robotics Hand/Eye Calibration using 3D Machine Vision (Roger Y. Tsai and Reimar K. Lenz) 
2.  Hand-Eye Calibration (Radu Horaud, Fadi Dornaika) 
3.  Hand-Eye Calibration (TUM) 
4.  Hand-eye calibration (Roboception, rc_visard documentation) 

一般情况下，摄像头的内参是我们事先标定好的，具体标定方法可以参考这篇博文：
张正友相机标定Opencv实现以及标定流程&&标定结果评价&&图像矫正流程解析（附标定程序和棋盘图）
其次，用到了相机位姿估计中求解PNP的问题，相机位姿估计就是通过几个已知坐标的特征点，以及他们在相机照片中的成像，
从而得到相机坐标系关于世界坐标系的旋转矩阵R与平移矩阵T，可以直接调用opencv::solvePnP函数求解，
详细讲解可以参考这篇博文：相机位姿估计
具体标定方法如下：
1.以车身中心投影到地面的位置为世界坐标系的原点，垂直于地面朝上为z轴正向，
车头方向为x轴的正向，y轴方向满足右手法则。
2.车位线识别中只用到了右侧摄像头，在水平地面上放置标定板，不要共线，
记录出标定板的世界坐标（至少需要4个点）以及在图像中的像素坐标。

了解手眼标定原理，就必须先了解一句话，叫做“右乘连体左乘基”

这句话实际上是读硕士期间，机器人学课程上老师讲的，我会专门写一篇文章来介绍这个定则，
这篇我们先不介绍，只用最后的结论。

公式
Tobject−in−base = Thand−in−base ⋅ Tcamera−in−hand ⋅ Tobject−in−camera T_{object-in-base\; }
=T_{hand-in-baase}\cdot T_{camera-in-hand}\cdot T_{object-in-camera} 
Tobject−in−base​=Thand−in−baase​⋅Tcamera−in−hand​⋅Tobject−in−camera​
手眼标定原理
明确坐标系

首先明确坐标系：机械臂项目一般存在四个坐标系

    基坐标系：机械臂的基座为原点的坐标系
    末端关节坐标系：一般机械臂末端关节会覆盖一层法兰，因此机械臂末端关节坐标系又为法兰末端坐标系，
    实际上，末端关节坐标系在基坐标系下的位姿，就是我们常说的机械臂位姿
    工具末端坐标系：显然机械臂在工作过程中，机械臂末端会搭载工具，而我们往往希望工具移动到某个位置，
    而不是机械臂末端运动到某个位置，这时我们就需要为工具建立一个它自己的坐标系，也就是工具末端坐标系
    相机坐标系：一般机械臂AI项目，会搭载相机作为视觉传感器，搭载位置可以放在机械臂末端上，
    称为“眼在手上（on hand）”；搭载在机械臂之外的固定位置，称为“眼在手下（off hand）”

下面的清单算是对勇哥的工业自动化职业生涯中有关机器视觉方面的总结。
它是勇哥看到过的一些项目，以及对应的知识点的盘点。
勇哥缺少工匠精神，许多认识不深入，浮于表面，大叔级别的人了对待学习还是有点浮燥，
造成许多知识点勇哥也是一知半解，希望借着这个贴子内容的梳理、和相关的实验的开展，不断的提升自己的知识深度，
最重要一点是形成一种有规划的学习模式，节省时间提升效率。

说明
1、手眼标定实际上是求解矩阵方程：AX = XB ; A是摄像机（单目或双目）前后两次空间变换的齐次矩阵 ； B是机械臂末端坐标系前后两次变换的齐次矩阵 ； X为待求解的手眼矩阵；通过多次求解该方程，即可解出X（A 、B矩阵求法如下）

2、calibrateHandeye() 参数描述如下：R_gripper2base，t_gripper2base是机械臂抓手相对于机器人基坐标系的旋转矩阵与平移向量，
需要通过机器人运动控制器或示教器读取相关参数转换计算得到；R_target2cam ， t_target2cam 
是标定板相对于双目相机的齐次矩阵，在进行相机标定时可以求取得到（calibrateCamera()得到）, 
也可以通过solvePnP()单独求取相机外参数获得 ； R_cam2gripper ， 
t_cam2gripper是求解的手眼矩阵分解得到的旋转矩阵与平移矩阵；
OpenCV实现了5种方法求取手眼矩阵 ， Tsai两步法速度最快。